他们用卷积神经网络，发现了名画中隐藏的秘密

By 超神经场景描述：著名的艺术珍品《根特祭坛画》，正在进行浩大的修复工作，以保证现在的人们能感受到这幅伟大的巨制，散发出的灿烂光芒。而随着技术的进步，高分辨率数字技术的介入，数据信息的逐渐增多，也让 AI 技术能够在画作修复上大显身手。那么在《根特祭坛画》的修复上，AI 技术能够带来哪些惊喜？关键词：世界名画   画作修复  图像生成

作者：神经小刀编辑：神经小兮《根特祭坛画》（又名《神秘羔羊之爱》），是比利时国宝级瑰宝，也是世界上迄今最具影响力的油画，最受艺术领域关注的大师级作品。它由 Van Eyck（凡·艾克）兄弟，于 1415 年到 1432 年，历时 18 年完成，是一幅由内外 20 个画板构成一种折叠式巨大画作，完全打开时长 3.5 米，宽 4.7 米。真迹现存放于比利时根特的圣·巴夫大教堂但正因为名气太大，这幅画自问世以来，遭遇了多次横祸。而且，除了人为破坏之外，它也与很多世界名画一样，难逃因灰尘、潮气等的侵蚀，导致画面变色、失去光泽。因此，画作的修复需求也越来越迫切。
近日，伦敦大学与杜克大学利用人工智能来解码《根特祭坛画》的高分辨率 X 射线图像，其研究结果发表在《Science Advances》期刊上：《Artificial Intelligence for Art Investigation: Meeting the Challenge of Separating X-ray Images of the Ghent Altarpiece》。这一研究有望提高我们对艺术杰作的理解，并为艺术调查，保护和展示提供新的机会。

名画伤痕累累，修复工程浩大

祭坛画是一种画在木板上，安置在教堂圣坛前面，用于装饰的复合画作。《根特祭坛画》取材于圣经，描绘了其中的经典场景，涵盖了 100 多位人物。这幅作品也是现代油画的开山之作，Van Eyck 兄弟在创作中，首次试验用油调色，使用新的涂料、松脂以及乳剂，以让画面保持经久鲜润的效果，此外，它还因为材质和纹理渲染，以及精致而复杂的构图成为一代瑰宝。左右分别是闭合和打开的样子自 1432 年首次展出之后，《根特祭坛画》经历了 7 次被盗、涉及 13 次不同形式的犯罪事件，堪称被盗窃最多的名画，时至今日，仍有一块画板下落不明。
除此以外，和其他艺术珍品一样，它也一直在经历着时间的考验。原画被长年累月的积尘和蚀变所摧残，光泽和画面都打了折扣。油画创作中，使用天然树脂制成的清漆，甚至是合成材料，都会随着时间的推移而降解发黄，变得浑浊。造成表面模糊，画面的色调平衡和图像中的层次感被极大地改变。因此，根特祭坛画已经经过了多次的清洁和修复，在一次修复中，工作人员惊奇地发现，画作共有 3 层，重绘面积达到了 70 %，意味着该画经历过两次未被记载的大型修复。
修复前（左）和修复后（右）的色泽发生了很大变化2012 年 10 月起，在进行了详细的评估之后，博物馆对它开启了浩大的修复工程。专家们也决定将修复目标从「恢复画面色彩」改为「复原画作的最初面貌」。
工作人员正在进行修复，修复期长达八年这项工作需要耗费大量的人力和财力，预计最早将于 2020 年完工。修复的过程包括去除表面灰尘与清漆、恢复画作的色彩的工作，也包含多种扫描成像，建立电子模型的过程。毋庸置疑，这是一项高难度的工作。而现在， AI 技术的发展，正为修复工作做出贡献。

修复难题：解读 X 射线图像

在画作修复中，目前已经有了一些成熟的机器学习案例，包括不同阶层的画面的材料识别，裂纹的数字图像修复，隐蔽的设计和可视化呈现。
而在根特祭坛画的修复中，伦敦大学和杜克大学的研究者，最近用深度学习的方式，解决了 X 射线图像扫描上的技术难题。X 射线照相术（XR）是画作修复中的一项重要方法。它利用不同材料对 X 射线吸收程度不同的原理，能够表现出画作中的隐藏细节。在根特祭坛画的修复工作中，建立完整 X 射线图片，也是修复的一个重要步骤。X 射线图像通过显示清漆或覆盖涂层隐藏裂缝，油漆磨损或其他结构区域的问题，能够帮助修复工作的进行。此外，扫描图像还可以向工作人员揭示艺术家的工作方法，揭示画布或面板的物理结构及其支撑，以及创作中使用的不同涂层。但对于根特祭坛画此类作品，在其 X 射线图像图片的解读上，却面临一个严峻的考验。根特祭坛画中，有几块画板正反面都绘制有图案，X 射线扫描出复杂的三维吸收图案，最终却被记录成二维文件，所以呈现出来的是混在一起的复杂图像。有几块画板正反面都绘有图案所以得到的是混合的 X 射线图片（最右）
其中包括多重信息，比如油漆表面形态，显示橡木支撑的结构，木纹、木钉的位置，以及油漆层中的裂缝和磨损。要想获得有价值的信息，必须在这些杂乱的信息中，分离出要分析的单个画层。由此带来了一个巨大的解读难题，而挑战则在于，如何将混合了双面板的 X 射线图像，分离成相应「单面」绘画的单独 X 射线图像。

破解之术：卷积神经网络

为了解决这个难题，伦敦大学和杜克大学的研究团队，在比利时皇家遗产文化研究所和西蒙斯基金会的支持下，开启了一项研究，提出了一种基于卷积神经网络（CNN）的自监督框架，完美地破解了它。
X 射线得到的混合图像，其实是面板两侧的图像的非线性组合。而这项研究的核心，在于通过建模的方式，找出最终混合图样和每个侧面信息的映射，再借助于一些细节的帮助，进行 X 射线信号的分离。所以他们的思路转化为，在完全监督的源设置中，从包含混合和单个信号的训练集（可能由同一艺术家以相似的样式绘制的不同绘画）中，让算法分析学习出混合图像到源信号的对应关系。为此，他们设计了一个自我监督的神经网络，学习如何将 RGB 图像转换为 X 射线图像，然后作为单面板的虚拟图像「重建」，然后通过最小化重建 X 射线图像的误差，比较与原始混合的 X 射线图像之间的差异，让模型学会实现这种分离。
将 RGB 图像转换为 X 射线图像的神经网络结构
整个过程不使用大量标记数据，而是使用了高分辨率的图像（允许创建大量输入补丁），并基于隐式标记训练网络。
具体细节上，他们构建了七层的 CNN ，每个卷积层之间含有批量归一化和整流线性单元（ReLU）激活层。网络的结构受到了 pix2pix 结构启发（pix2pix 使用条件对抗网络进行图像到图像转换）。通过训练之后，模型实现了输入混合的 X 射线图像，输出两个单独的面板图片。
分离效果超过了所有其他的方法这种新的方法，在两个独立的测试图像集上得到了应用，很好地再现了画板中「亚当」和「夏娃」的单独细节，其清晰度也远远地超出了预期。

人工智能，让艺术珍品更长久

通过他们的研究，X 射线图样的分离问题得到了完美解决，甚至研究者都没有预料到，通过对深度学习的方法，得到了如此惊人的清晰度。一位研究人员兴奋地将这个过程，比作是物理学上的探索：通过实验尝试，找出了没有相关理论解释的意外成果。而接下来，研究团队希望在其他一些著名的杰作上，尝试这种方法:「我们希望看到类似的人工智能方法，对揭示绘画中其他的隐藏特征带来帮助，例如发现早期隐藏的设计」。而对于著名的《根特祭坛画》，相信有了 AI 技术的加持，必然能更快地闪耀出它最初的光芒。
论文地址：https://advances.sciencemag.org/content/5/8/eaaw7416/tab-pdf
—— 完 ——

扫描二维码，加入讨论群

获得更多优质数据集

回复「读者」自动入群

更多精彩内容（点击图片阅读）